我们考虑了提高柱生成效率(CG)方法的方法,以解决车辆路由问题。我们介绍了CG配方中常用的NG-Route松弛度和降低状态空间松弛(DSSR)的替代/补充,我们引入了局部区域(LA)路线。 LA路线是NG路由的子集和基本路线的超级集合。通常,CG的定价阶段必须产生基本路线,这些路线是没有重复客户的路线,使用可能在计算上昂贵的流程。非元素路线至少访问至少一个客户,创建一个周期。 LA路线以允许有效定价的方式放松成为基本途径的约束。从NG-Route放松方面,最好理解LA路线。 NG路由是允许在空间中具有非定位循环的路线。这意味着周期中至少有一个中间客户(称为断路器)必须考虑到周期中的起始客户在空间上远离。使用一组特殊索引来描述LA路线,该特殊索引与从开始到路线尽头的路线上的客户相对应。 LA路线的松弛进一步限制了一组允许的周期,除了强制执行断路器必须位于特殊索引中,该循环均超出了NG路由,其中​​一组特殊索引被递归地定义为如下。该路线中的第一个特殊索引是索引1,这意味着它与路线中的第一个客户关联。 K'th特殊索引对应于K-1第三个特殊索引之后的第一个客户,该索引并非被认为是(在空间上被认为是远离K-1'TEXPATEX的客户)的邻居。我们证明,与标准DSSR相比,LA路线松弛可以显着提高定价的计算速度。
translated by 谷歌翻译
Many real-world applications of language models (LMs), such as code autocomplete and writing assistance, involve human-LM interaction, but the main LM benchmarks are non-interactive, where a system produces output without human intervention. To evaluate human-LM interaction, we develop a framework, Human-AI Language-based Interaction Evaluation (H-LINE), that expands non-interactive evaluation along three dimensions, capturing (i) the interactive process, not only the final output; (ii) the first-person subjective experience, not just a third-party assessment; and (iii) notions of preference beyond quality. We then design five tasks ranging from goal-oriented to open-ended to capture different forms of interaction. On four state-of-the-art LMs (three variants of OpenAI's GPT-3 and AI21's J1-Jumbo), we find that non-interactive performance does not always result in better human-LM interaction and that first-person and third-party metrics can diverge, suggesting the importance of examining the nuances of human-LM interaction.
translated by 谷歌翻译
Recent work in large language modeling (LLMs) has used fine-tuning to align outputs with the preferences of a prototypical user. This work assumes that human preferences are static and homogeneous across individuals, so that aligning to a a single "generic" user will confer more general alignment. Here, we embrace the heterogeneity of human preferences to consider a different challenge: how might a machine help people with diverse views find agreement? We fine-tune a 70 billion parameter LLM to generate statements that maximize the expected approval for a group of people with potentially diverse opinions. Human participants provide written opinions on thousands of questions touching on moral and political issues (e.g., "should we raise taxes on the rich?"), and rate the LLM's generated candidate consensus statements for agreement and quality. A reward model is then trained to predict individual preferences, enabling it to quantify and rank consensus statements in terms of their appeal to the overall group, defined according to different aggregation (social welfare) functions. The model produces consensus statements that are preferred by human users over those from prompted LLMs (>70%) and significantly outperforms a tight fine-tuned baseline that lacks the final ranking step. Further, our best model's consensus statements are preferred over the best human-generated opinions (>65%). We find that when we silently constructed consensus statements from only a subset of group members, those who were excluded were more likely to dissent, revealing the sensitivity of the consensus to individual contributions. These results highlight the potential to use LLMs to help groups of humans align their values with one another.
translated by 谷歌翻译
The availability of large public datasets and the increased amount of computing power have shifted the interest of the medical community to high-performance algorithms. However, little attention is paid to the quality of the data and their annotations. High performance on benchmark datasets may be reported without considering possible shortcuts or artifacts in the data, besides, models are not tested on subpopulation groups. With this work, we aim to raise awareness about shortcuts problems. We validate previous findings, and present a case study on chest X-rays using two publicly available datasets. We share annotations for a subset of pneumothorax images with drains. We conclude with general recommendations for medical image classification.
translated by 谷歌翻译
我们介绍了Sparrow,这是一个寻求信息的对话代理,与提示的语言模型基线相比,训练有素,更有帮助,正确和无害。我们使用从人类反馈中的强化学习来培训我们的模型,以帮助人类评估者判断代理人的行为。首先,为了使我们的代理人更有帮助和无害,我们将良好对话的要求分解为代理人应遵循的自然语言规则,并分别向评估者询问每个规则。我们证明,这种崩溃使我们能够收集对代理行为的更多针对性的人类判断,并允许更有效的规则条件奖励模型。其次,我们的代理商在收集对模型声明的偏好判决时提供了支持事实主张的来源的证据。对于事实问题,麻雀提供的证据支持了78%的时间。比基线比基线更享受麻雀,同时对人类的对抗性探测更具弹性,在探测时只有8%的时间违反了我们的规则。最后,我们进行了广泛的分析,表明尽管我们的模型学会遵守我们的规则,但它可以表现出分布偏见。
translated by 谷歌翻译
对于工业规模的广告系统,对广告点击率(CTR)的预测是一个核心问题。广告点击构成了一类重要的用户参与,通常用作广告对用户有用的主要信号。此外,在每次点击收费的广告系统中,单击费用期望值直接输入价值估计。因此,对于大多数互联网广告公司而言,CTR模型开发是一项重大投资。此类问题的工程需要许多适合在线学习的机器学习(ML)技术,这些技术远远超出了传统的准确性改进,尤其是有关效率,可重复性,校准,信用归因。我们介绍了Google搜索广告CTR模型中部署的实用技术的案例研究。本文提供了一项行业案例研究,该研究强调了当前的ML研究的重要领域,并说明了如何评估有影响力的新ML方法并在大型工业环境中有用。
translated by 谷歌翻译
用木材制成的木材和森林产品,例如家具,是宝贵的商品,就像许多高估的自然资源的全球贸易一样,面临腐败,欺诈和非法收获的挑战。木材和森林产品部门的这些灰色和黑色市场活动不仅限于收获木材的国家,而是在整个全球供应链中扩展,并与非法金融流有关,例如基于贸易的洗钱,记录欺诈,种类标签和其他非法活动。在没有地面真理的情况下,使用贸易数据找到此类欺诈活动的任务可以作为无监督的异常检测问题进行建模。但是,现有的方法在其对大规模贸易数据的适用性方面存在某些缺点。贸易数据是异质的,具有表格格式的分类和数值属性。总体挑战在于数据的复杂性,数量和速度,具有大量实体和缺乏地面真相标签。为了减轻这些方法,我们提出了一种新型的无监督异常检测 - 基于对比度学习的异质异常检测(CHAD),通常适用于大规模的异质表格数据。我们证明,我们的模型CHAD对公共基准数据集的多个可比较基线表现出色,并且在贸易数据的情况下优于它们。更重要的是,我们证明我们的方法减少了假设和努力所需的高参数调整,这在无监督的培训范式中是一个关键的挑战。具体而言,我们的总体目标涉及使用提单贸易记录数据账单来检测可疑的木材运输和模式。在运输记录中检测异常交易可以使政府机构和供应链成分进一步调查。
translated by 谷歌翻译
我们提出了一个开放域的社交聊天机器人Chirpy Cardinal。为了既有信息又有信息,我们的机器人以一种真实的,情感上的方式与用户聊天。通过将受控的神经产生与脚手架,手写的对话整合在一起,我们让用户和机器人都轮流推动对话,从而产生引人入胜且流利的体验。Chirpy Cardinal部署在Alexa奖Socialbot Grand Challenge的第四次迭代中,每天处理数千次对话,在9个机器人中排名第二,平均用户评级为3.58/5。
translated by 谷歌翻译
管理折扣促销活动(“ Markdown”)是经营电子商务业务的重要组成部分,这里的效率低下可能会严重阻碍零售商的盈利能力。解决此问题的传统方法在很大程度上取决于价格弹性建模。但是,价格弹性建模的部分信息性质,以及保护盈利能力的不可谈判的责任,意味着机器学习从业人员经常必须经过巨大的时间来定义衡量离线模型质量的策略。面对这一点,许多零售商依靠基于规则的方法,因此可以通过机器学习来捕获的盈利能力获得可观的收益。在本文中,我们介绍了两个新颖的端到端降价管理系统,以优化零售商旅程的不同阶段的赌注。第一个系统“ ITHAX”制定了无需估算的理性供应方定价策略,并且可以用作“冷启动”解决方案,以收集降价数据,同时保持收入控制。第二个系统“ Prosotheus”为价格弹性提供了一个完整的降价优化的框架。我们详细描述了特定的建模和验证程序,在我们的经验中,这对于建立在现实世界中稳健性能的系统至关重要。与我们经验丰富的运营团队在受控的在线测试中做出的决策相比,这两种降级系统都具有卓越的盈利能力,相对于手动策略,改善了86%(Promotheus)和79%(ITHAX)。这些系统已被部署以在ASOS.com上管理Markdown,并且可以在各种零售电子商务环境中进行价格优化的价格优化。
translated by 谷歌翻译
大型语言模型会产生类似人类的文本,这些文本推动了越来越多的应用。但是,最近的文献以及越来越多的现实世界观察表明,这些模型可以产生有毒,有偏见,不真实或其他有害的语言。尽管正在进行评估语言模型危害的工作,但要远见卓识转换出可能出现的危害可能会引起严格的基准。为了促进这种翻译,我们概述了六种表征有害文本的方式,这些方法在设计新基准时值得明确考虑。然后,我们将这些特征用作镜头来识别现有基准中的趋势和差距。最后,我们将它们应用于视角API的案例研究,这是一种毒性分类器,被广泛用于HARS基准。我们的特征提供了一块桥梁,可以在远见和有效评估之间转化。
translated by 谷歌翻译